Inducing Process Supervision from Outcome-Only Reinforcement Learning
TIPS：仅用结果监督RL训练生成式过程奖励模型
🧭 生成式PRM训练 · 结果监督RL ★ 深度解读
Renmin University of China · Tsinghua University · University of Electronic Science and Technology of China · Shanghai Jiao Tong University
TIPS仅用3.2K结果标签轨迹，经GRPO强化验证思维链，ProcessBench F1达85.2，超过更大PRM与强判官
📌 工作参考价值（4 点）
- 在需要过程诊断/归因的 Agent 链路（如导购多轮对话、多工具调用、query 改写规划）中，可用该框架训练一个生成式 step judge：让模型输出 CoT + 逐步有效标签 + final label，reward 只看 final label 是否正确，用 GRPO 优化整个序列；推理时直接取 step_labels 作为过程分，省去人工逐步标注。
- 优先选有思维链先验的 thinking 模型或 reasoning-distilled 模型做基座。论文中 Qwen3-4B-Thinking 比 Instruct 多涨 7.5 F1；弱基座容易走“只看最终结论”的 shortcut，逐步判断先升后降，因此可用 ORM 准确率平台期 + 回复长度下降作为早停信号。
- 对电商推荐/搜索场景，可把该方法用于推荐解释或排序理由的逐句正确性判断，以及 query 规划、工具调用链路的错误步骤定位；但要优先选择步骤正确性直接决定最终结果的 task（SQL 生成、API 参数校验、数值/规则链路），因为业务最终反馈如点击/转化与单步正确性耦合较弱时收益会显著变小。
- 训练成本极低：仅需 3.2K 条 outcome-labeled 轨迹即可在 8×A800 上单 epoch 完成，适合为长尾场景快速冷启动一个内部 judge。